Cystersi przybyli do Rud w połowie XIII wieku. Pod koniec tego stulecia wznieśli świątynię, którą możemy oglądać do dziś. Umieścili w niej obraz Najświętszej Marii Panny, który - według tradycji - otrzymali z rąk księcia Kazimierza już w roku 1228, kiedy to jeszcze przebywali w swoim macierzystym klasztorze w Jędrzejowie. Z biegiem lat obraz Matki Bożej stał się celem pielgrzymek wiernych z całego Śląska. Szczyt maryjnej pobożności przypadł na stulecia XVII i XVIII. Wówczas też zbudowano w kościele wspaniałą kaplicę, w której umieszczono wizerunek.
Po kasacie klasztoru na początku XIX wieku, nowy właściciel majątku zakazał pielgrzymek. Jednak wciąż przybywali się tu pomodlić zakonnicy, uczniowie i absolwenci klasztornego Gimnazjum, a także osoby prywatne.
Kult odżył po drugiej wojnie światowej. W 1974 roku świątynia została ogłoszona sanktuarium Roku Świętego. Kaplica i sam obraz rozbłysły w 1992 roku, kiedy zakończono ich renowację. Wreszcie, w latach 90., erygowano Diecezjalne Sanktuarium Matki Bożej Rudzkiej.
Ostatnie badania dowiodły, że cudowny obraz namalowano prawdopodobnie w XV wieku. Nawiązuje on do tradycyjnego, przechowywanego kiedyś w klasztorze w Konstantynopolu wizerunku Matki Bożej, który przypisywano samemu św. Łukaszowi.
Obraz znajduje się w kaplicy mariackiej, dobudowanej do kościoła w XVIII wieku. Jej wystrój malarski i rzeźbiarski jest pięknym przykładem zarówno baroku, jak i rokoka.
17 czerwca 1999 roku papież Jan Paweł II poświęcił na gliwickim lotnisku złote korony, które później umieszczono na obrazie Rudzkiej Madonny. Było to jedno z tych wydarzeń, które wieńczyło wielowiekową tradycję czci oddawanej Matce Bożej w tej uroczej części Śląska.
Sam kościół sprawia wrażenie barokowego. Szczególnie fasada. Świątynia zachowała jednak elementy wcześniejsze, gotyckie. Pierwotny kościół był zbudowany na planie krzyża łacińskiego, orientowany (czyli z prezbiterium skierowanym na wschód) i bezwieżowy. W środku łatwo dostrzec elementy gotyckie, jak np. ostrołukowe okna i sklepienie krzyżowo-żebrowe. Świat religijności barokowej przywołują piękne obrazy dwóch śląskich mistrzów: Michaela Willmanna i Ignatza Raaba. Poza kaplicą mariacką w kościele podziwiać można dwie inne, barokowe kaplice: św. Jana Nepomucena i Świętego Krzyża. W tej ostatniej znajduje się ciekawa płyta, poświęcona pamięci wybitnego opata Andreasa Emanuela Pospela (zm. w r. 1679) oraz Władysława księcia Opolskiego, darczyńcy klasztoru.
W jednym z bocznych ołtarzy kościoła znajdują się relikwie (m.in. fragment kości) św. Walentego.
